Searching Videos as Trees: Self-Correcting Agents for Grounded Long Video QA
将视频搜索为树:自校正智能体实现长视频锚定问答
🧭 自我纠正树搜索智能体实现精准长视频QA
University of North Carolina at Chapel Hill · Sony
构建非均匀时间树并训练智能体通过显式回溯操作实现自纠正搜索,显著提升长视频问答与定位性能
📌 工作参考价值(4 点)
- 长序列定位回溯机制可迁移:电商场景中用户行为序列、商品介绍视频等长序列理解任务,可借鉴树形结构+显式回溯操作,使模型能从错误聚焦中恢复,精准定位关键片段(如商品使用痛点瞬间)。
- 层次化搜索架构:将长内容按语义边界预构建非均匀树,再训练智能体导航,可用于构建“商品视频智能导购”——用户提问时系统自动深入相关片段,并能回溯避免过早锁定错误区间。
- 合成纠错轨迹训练范式:通过故意构造走入错误分支再纠正的轨迹进行SFT+RL,可提升推荐Agent在复杂交互中的鲁棒性,使模型学会自我纠错,尤其适用于多轮对话式推荐。
- 离散操作空间设计:定义有限的原子操作(zoom_in/out/shift/answer),使策略学习更可控,可借鉴到面向搜索/推荐的Agent动作集设计,让模型在复杂检索环境中进行结构化探索。